SWE-Together: Evaluating Coding Agents in Interactive User Sessions
SWE-Together：交互式用户会话中评估编码智能体
🧭 编程Agent交互式协作评估
Meta
从真实用户会话构建多轮编程基准，用反应式模拟器重放交互，同时衡量代码正确性和所需干预次数。
📌 工作参考价值（4 点）
- 交互式Agent评估范式：可直接迁移到电商推荐Agent的评估中，构建多轮用户模拟器，根据用户偏好和反馈调整推荐，同时衡量推荐成功率与用户修改轮数，评估协作效率。
- 真实会话驱动的基准构建：借鉴其从海量真实交互记录中筛选可重放会话的方法，在电商场景中收集用户与推荐系统的多轮对话，构建可复现的评估集，避免人工设计偏差。
- 反应式用户模拟器设计：利用LLM模拟用户意图保持和条件反馈，用于离线测试推荐Agent的意图理解与纠错能力，降低人工评测成本。
- 效率与效果联合指标：不仅关注最终推荐准确率，也追踪达到满意结果所需的交互轮数，更全面反映用户体验，适合用于优化多轮推荐策略。